from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)
# RDD（Resilient Distributed Dataset，弹性分布式数据集）是一个基本的抽象，用于在集群中存储和操作数据，后续进行各类计算，都是基于RDD对象进行。
# 通过parallelize方法将Python对象加载到Spark内，得到RDD对象
rdd1 = sc.parallelize([1, 2, 3, 4, 5])
rdd2 = sc.parallelize((1, 2, 3, 4, 5))
rdd3 = sc.parallelize("abcdefg")
rdd4 = sc.parallelize({1, 2, 3, 4, 5})
rdd5 = sc.parallelize({"key1": "value1", "key2": "value2"})
# 通过textFile方法，读取文件数据加载到Spark内，得到RDD对象
rdd6 = sc.textFile("C:/test_append.txt")
# 如果要查看RDD里面有什么内容，需要用collect()方法，将RDD各个分区内的数据，统一收集到Driver中，形成一个List对象
print(rdd1.collect())
print(rdd2.collect())
print(rdd3.collect())
print(rdd4.collect())
print(rdd5.collect())
print(rdd6.collect())
sc.stop()